基于 Mtcnn(人脸检测)+Hopenet(姿态检测)+拉普拉斯算子(模糊度检测) 的人脸检测服务

对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》

写在前面

---

• 工作原因，顺便整理
• 博文内容为一个 人脸检测服务分享
• 以打包 Docker 镜像，可以直接使用
• 服务目前支持 http 方式
• 该检测器主要适用低质量人脸图片处理
• 理解不足小伙伴帮忙指正

对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》

---

简单介绍

人脸检测服务， 用于输出适合人脸识别的 人脸数据集，通过 mtcnn cnn检测人脸，通过 hopenet 开源项目确定人脸是姿态，拿到头部姿态欧拉角，通过 拉普拉斯算子 拿到人脸模糊度，通过对mtcnn 三级网络和置信度，欧拉角阈值，模糊度设置阈值筛选合适人脸

详细见项目： https://github.com/LIRUILONGS/mtcnn_demo

Docker 镜像见： https://hub.docker.com/r/liruilong/mtcnn-hopenet-laplacian-face

生成结果

克隆项目运行脚本直接生成

提供了Demo 可以克隆项目直接运行生成结果

python mtcnn_demo.py

原图
–
生成标记后图片，粉色数据为标记 不合格数据，全部标记为蓝色数据为合规数据,也就是需要处理的数据
–
标记含义：
–
符合条件筛选的人脸

部署

创建 虚拟环境，导入依赖

(base) C:\Users\liruilong>conda create -n mtcnn python==3.8.8

pip instasll -r  requirements.txt  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

也可以直接使用 conda 的方式

conda env create -f /environment.yml
source activate mtcnn
pip install -r /requirements.txt  -i  https://pypi.tuna.tsinghua.edu.cn/simple

通过 Docker 方式

部署

docker pull liruilong/mtcnn-hopenet-laplacian-face
docker run  -it -p 30025:30025 liruilong/mtcnn-hopenet-laplacian-face

调用方式，上传文件直接解析

curl --location --request POST 'http://192.168.26.81:30025/upload' \
--header 'Authorization: eyJhbGciOiJSUzI1NiIsImtpZCI6ImF2MmJVZ3d6M21JRC1BZUwwaHlDdzZHSGNyaVJON1BkUHF6MlhPV2NfX00ifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJoZWFkbGFtcC1hZG1pbi10b2tlbi04ZDVwciIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJoZWFkbGFtcC1hZG1pbiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjI0NDMxNTA4LWU4ZjEtNGYxOC1hMWIxLTlmMmUzZmFhNDU3ZSIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTpoZWFkbGFtcC1hZG1pbiJ9.oSA_i8gZOXYNRQMyoUKCK_wivtSiEjJ78EDUzZ1R7_HFxiLBKWLtxYN81wyf19bp9y9BFc2YYAW9lBy9QfVxg6LzBhW1sb4tcJJ0SOldxQX8z9kWK9m1MPMMs3aqtt1S9n8ShMBeobyY5AXSkBMDvVh6_E1P22dnPyOH7r_m0DEM0pgOP7B347sDKHiKx60hHBTfayvF7WDgfVlqsItBrc-MupC7NieRe8pztCllQ8awPksZXPRAJdcKwlSPvskoYxaqOBGbfZvFAFeLJaiGHdwkb6jUKyVfcB_hX_Pm5aEHGU8LZq7twrup859zxLxwn3nAgQpM6-NySZt8ax24kg' \
--form 'image=@"/C:/Users/liruilong/Pictures/vlcsnap-2023-08-10-02h42m48s407.png"'

{
    "image_id": "f12314cd5c814c1d85137daf774b8806",
    "face_total": 18,
    "face_efficient_total_resp": 1,
    "resp": [
        {
            "face_id": "d0915a12c1cd4181a15718c812a85f29",
            "face_blur": 246.4111740893992,
            "face_pose": {
                "pitch": -17.97052001953125,
                "yaw": -21.107192993164062,
                "roll": 0.6877593994140625
            },
            "face_confidence": 0.9999333620071411,
            "face_coordinate": [
                1484,
                305,
                36,
                44
            ],
            "facie5points": {
                "left_eye": [
                    1496,
                    323
                ],
                "right_eye": [
                    1513,
                    318
                ],
                "nose": [
                    1509,
                    331
                ],
                "mouth_left": [
                    1500,
                    339
                ],
                "mouth_right": [
                    1515,
                    336
                ]
            },
            "face_native_image_b64": "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIB.....",
            "face_native_images_b64": "iVBO...............GiAAAAAElFTkSuQmCC"
        }
    ],
    "mark_image_face_b64": "/9j/4AA............"
}

项目简单介绍：

检测使用 mtcnn

使用的下面的库，关于 mtcnn 是什么，这里不多介绍，综合考虑使用这个，这里主要看下和识别精度相关的参数

对应的pip 库位置： https://pypi.org/project/mtcnn/

def __init__(self, weights_file: str = None, min_face_size: int = 20, steps_threshold: list = None,
                 scale_factor: float = 0.709):
        """
        Initializes the MTCNN.
        :param weights_file: file uri with the weights of the P, R and O networks from MTCNN. By default it will load
        the ones bundled with the package.
        :param min_face_size: minimum size of the face to detect
        :param steps_threshold: step's thresholds values
        :param scale_factor: scale factor
        """
        if steps_threshold is None:
            steps_threshold = [0.6, 0.7, 0.7]

        if weights_file is None:
            weights_file = pkg_resources.resource_stream('mtcnn', 'data/mtcnn_weights.npy')

        self._min_face_size = min_face_size
        self._steps_threshold = steps_threshold
        self._scale_factor = scale_factor

        self._pnet, self._rnet, self._onet = NetworkFactory().build_P_R_O_nets_from_file(weights_file)

影响 MTCNN 单张测试结果的准确度和测试用时的主要因素为：

网络阈值(steps_threshold)

MTCNN 使用了一系列的阈值来进行人脸检测和关键点定位。这些阈值包括人脸 置信度阈值（Face Confidence Threshold）、人脸框与 关键点之间的IoU（Intersection over Union）阈值等。上面的构造函数 MTCNN的三个阶段（P-Net、R-Net和O-Net）中，相应的阈值设置为0.6、0.7和0.7。

1. 在 P-Net阶段，它是一个浅层的卷积神经网络，生成 候选人脸框时，只有置信度大于等于0.6的候选框将被接受，其他低于该阈值的候选框将被拒绝。
2. 在 R-Net阶段，一个较深的卷积神经网络，用于对P-Net生成的候选框进行筛选和精细调整。R-Net会对每个候选框进行特征提取，并输出判断该框是否包含人脸的概率以及对应的边界框调整值，对于从P-Net阶段获得的候选框，只有置信度大于等于0.7的框将被接受，其他低于该阈值的框将被拒绝。
3. 在 O-Net阶段，最深的卷积神经网络，用于进一步筛选和精细调整R-Net输出的候选框。O-Net与R-Net类似，对于从R-Net阶段获得的候选框，同样只有置信度大于等于0.7的框将被接受，其他低于该阈值的框将被拒绝。O-Net还可以输出 人脸关键点的位置坐标。最终，O-Net提供了最终的人脸检测结果和人脸关键点的位置信息。

影响因子（原始图像的比例跨度）(scale_factor):

MTCNN 使用了图像金字塔来检测不同尺度的人脸。通过对图像进行 缩放，可以检测到不同大小的人脸。影响因子是指图像金字塔中的 缩放因子，控制了不同尺度之间的跨度。较小的影响因子会导致 更多的金字塔层级，可以检测到 更小的人脸，但会增加计算时间。较大的影响因子可以 加快检测速度，但可能会错过 较小的人脸。因此，选择合适的影响因子是在准确度和速度之间进行权衡的关键。

要检测的 最小面容参数(min_face_size):

这是 MTCNN 中用于 过滤掉较小人脸的参数。最小面容参数定义了一个 人脸框的 最小边长，小于此值的人脸将被 忽略。较小的最小面容参数可以检测到更小的人脸，但可能会增加 虚警（错误接受）的机会。较大的最小面容参数可以 减少虚警，但可能会漏检一些较小的人脸。因此，根据应用需求和场景，需要调整最小面容参数以平衡 准确度和召回率。

from mtcnn import MTCNN
import cv2

img = cv2.cvtColor(cv2.imread("ivan.jpg"), cv2.COLOR_BGR2RGB)
detector = MTCNN()
detector.detect_faces(img)

box 为人脸矩形框，keypoints 为人脸特征点，confidence 为置信度

[
    {
        'box': [277, 90, 48, 63],
        'keypoints':
        {
            'nose': (303, 131),
            'mouth_right': (313, 141),
            'right_eye': (314, 114),
            'left_eye': (291, 117),
            'mouth_left': (296, 143)
        },
        'confidence': 0.99851983785629272
    }
]

姿态判断 Hopenet

姿态判断使用 Hopenet ，论文地址： https://arxiv.org/abs/1710.00925

使用的模型来自项目

https://github.com/natanielruiz/deep-head-pose

一个 大佬写好的 colab Demo

https://colab.research.google.com/drive/1vvntbLyVxxBHoVN0e6-pfs7gB3pp-VUS?usp=sharing

模糊度检测 拉普拉斯算子

opencv 拉普拉斯方差方法 方法

def calculate_blur(image):
    # 计算图像的拉普拉斯梯度
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    laplacian = cv2.Laplacian(gray, cv2.CV_64F).var()
    return laplacian

来源 : https://pyimagesearch.com/2015/09/07/blur-detection-with-opencv/

配置文件简单说明：

### 人脸检测配置文件
## mtcnn 检测相关：
mtcnn:
  zero:
    # 最小人脸尺寸
    min_face_size: 20
    # 影响因子
    scale_factor: 0.709
    # 三层网络阈值
    steps_threshold: 
      - 0.6
      - 0.7
      - 0.7
    # 结果置信度阈值
    face_threshold: 0.995
    # 模糊度阈值
    blur_threshold: 100


## hopenet 姿态检测相关
hopenet:
  zero:
    # 模型位置
    snapshot_path: "./content/dhp/hopenet_robust_alpha1.pkl"
    # 欧拉角阈值
    yaw_threshold: 45
    pitch_threshold: 20
    roll_threshold: 25 

# 是否输出结果图片
is_objectification: true
# 输出图片结果
objectification_dir: './output/'
# 需要处理的图片位置
parse_dir: "./mtcnn_test/"

博文部分内容参考

© 文中涉及参考链接内容版权归原作者所有，如有侵权请告知，这是一个开源项目，如果你认可它，不要吝啬星星哦 :)

---

https://pyimagesearch.com/2015/09/07/blur-detection-with-opencv/

https://github.com/natanielruiz/deep-head-pose

---

© 2018-至今 liruilonger@gmail.com, All rights reserved. 保持署名-非商用-相同方式共享(CC BY-NC-SA 4.0)